package day01

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object SparkWordCount {
  def main(args: Array[String]): Unit = {
    //注意，如果是本地模式，一定要在后面加上.setMaster(),可直接打印res.collect.toBuffer，也可以res.foreach(println)
    val conf: SparkConf = new SparkConf().setAppName("SparkWordCount")

    //创建SparkContext对象
    val sc: SparkContext = new SparkContext(conf)

    //通过SparkContext对象就可以处理数据
    val data: RDD[String] = sc.textFile("hdfs://master:9000/wordCount3/input/one.txt")
    val res: RDD[(String, Int)] = data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false)
    data.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    //将数据提交到集群去存储，无返回值。
    res.saveAsTextFile(args(1))
    //回收资源，停止sc，结束任务
    sc.stop()

  }
}
